使用檢測工具進行安全監控

Security monitoring with detection tools
入侵檢測系統 (IDS) 與其相關技術，包括數據來源、偵測方法、終端設備與網路流量的監控，以及 IDS 的記錄與警報機制

數據來源

• 偵測需要依賴數據，這些數據可來自多種設備的日誌Logs。
• 日誌記錄系統事件，而遙測Telemetry則描述數據本身，如網路封包截取。

Endpoint telemetry

• 指的是從終端設備（例如電腦、手機、伺服器等）collection 收集資料並進行transmission傳輸的過程，用以供進一步的檢測或分析analysis。
• 端點是進入網路的入口，因此它們成為惡意行為者尋求未經授權存取系統的主要目標。
• 這種數據通常包含設備的系統活動、事件數據、行為指標，以及其他與安全相關的資訊。

入侵檢測系統 (IDS) 的定義

• IDS 是用於監控活動monitors activity and alerts 並針對可能的入侵發送警報的應用程式。
• IDS 可以監控終端設備、網路，以及系統的其他部分。

H/N-Based IDS type

HIDS和NIDS的結合使用能提供多層次的入侵檢測和響應方法，透過監控網路活動和各個連接主機的狀態，提供環境中活動的全面視角。

The flow option

A security analyst creates a Suricata signature to identify and detect security threats based on the direction of network traffic. Which of the following rule options should they use?They should use flow. The flow option matches the direction of network traffic flow.

IDS detection methods/techniques

• Signature-Based & Anomaly-Based

Signature analysis/ Signature-Based

所謂「簽章」，在此指的是入侵檢測系統（例如 IDS/HIDS/NIDS）所使用的模式匹配規則。這些簽章是依據 IoCs 設計的，當偵測到符合某些特定 IoCs 的行為時，系統就會發出警報。因此，根據高價值的 IoCs 設計針對性的簽章，可以幫助安全系統更加精準地攔截攻擊。

Indicators of Compromise (IoCs)：

IoCs 是網絡安全中用來檢測威脅活動的重要元素，可包括 IP 地址、網域名、檔案雜湊值、可執行檔案名稱等。這些都是與攻擊行為相關的線索，用於識別可能的惡意活動。

SIEM

• IDS 日誌記錄偵測設備監控到的資訊，這些日誌可存儲於中央化的記錄庫如 SIEM。
  在生成警報之前，必須先記錄logged活動。IDS技術會將其監控的設備、系統和網路資訊記錄為IDS日誌，然後將這些日誌傳送、儲存並在集中式日誌存儲庫 centralized log repository（如SIEM）中進行分析

Components of a detection signature

• 網路入侵檢測系統通常被簡稱為縮寫 N-I-D-S，並讀作 NIDS。
• NIDS 由三個組成部分構成：一個行動action、一個標頭header和規則選項rule option。
  偵測簽名的組成要素

rule option

• msg 是用來提供警報文字內容，
• sid 表示簽名 ID，簽名識別碼，每個規則都會被指派一個獨立的簽名 ID 作為唯一的標識，以便於管理與追蹤。
• rev 代表版本，每次簽名更新時，版本號會改變。

Suricata

• 定義：一個開源的基於簽名（signature-based）入侵檢測系統（IDS）
• 特點：
  • 支援多種網絡協議與流量類型。
  • 可使用現有的簽名模板，或撰寫自定義規則。
  • 能產生警報來偵測並攔截有害流量。
• 文件結構與初步操作:
  • 更換目錄 (cd 指令)：進入 /etc/suricata 目錄（Suricata的配置文件集中存放於此處）。
  • 列出文件內容 (ls 指令)：檢視文件與文件夾列表，特別是 rules 文件夾，此處存放系統規定的簽名檔規則。
  • 查看自定義規則文件 (less 指令)：使用 less 指令檢視 custom.rules，並觀察內容。初步可以看到註解（#），以及頭部與規則定義等內容，便於了解規則的功能與作用。

Suricata 的日誌格式和類型

Suricata format type - EVE JSON

• EVE：Extensible Event Format
• JSON：JavaScript Object Notation
• 特性：鍵值對的結構，簡化了在日誌檔案中搜索和提取數據的過程。

Suricata log 2 types

network telemetry data

They are using network telemetry data. Network telemetry refers to the collection and transmission of network data for analysis, such as HTTP traffic.

• 在HTTP 網絡遙測日誌中「User Agent」代表用於訪問網站的軟體名稱

應用場景

• 通過詳細日誌分析，協助網絡調查，理解並建構完整的安全事件背景。
• 在學習中，實際操作分析這些日誌，幫助理解 Suricata 的日誌特性與使用。

Overview of Suricata

header

• alert（警報）：對符合條件的流量發出警示
• drop（丟棄）：阻斷並丟棄流量
• pass（放行）：允許流量通過
• reject（拒絕）：主動拒絕連線

Suricata features

• 三種主要方式運作：入侵偵測系統(IDS)、入侵防禦系統(IPS)以及網絡安全監測(NSM)。
• 其主要功能包括監控網絡流量、檢測並阻止惡意活動，以及記錄網絡數據以協助取證與簽名測試。

Configuration file

配置檔案是在部署檢測工具並開始監控系統和網絡之前，需要適當配置其設置的文件。配置檔案configuration file 允許自定義入侵檢測系統（IDS）如何與環境互動。Suricata的配置檔案為suricata.yaml，使用YAML文件格式。

Log files

Suricata 生成兩個日誌文件：eve.json 和 fast.log。

• eve.json 是標準日誌文件，包含有關事件和警報的詳細信息，以 JSON 格式存儲，適合進行深入分析；而
• fast.log 則記錄基本的警報信息，如 IP 地址和端口，不適合用於事件響應或威脅獵捕。
• 主要區別在於細節的記錄程度，fast.log 只有基本信息，而 eve.json 則包含更多詳細內容。

指令解釋

• -r 指定輸入的網路流量檔案 (sample.pcap)、

• -S 指定自定義規則檔案 (custom.rules)以及

• -k 禁用所有的校驗和檢查。
  sudo suricata -r sample.pcap -S custom.rules -k none

• 使用jq命令將原本可能難以理解或雜亂無章的 JSON 數據
  jq . /var/log/suricata/eve.json | less

• 使用jq command 從 eve.json 檔案中提取特定事件資料：
  jq -c "[.timestamp,.flow_id,.alert.signature,.proto,.dest_ip]" /var/log/suricata/eve.json

  • 所選字段為時間戳（.timestamp），流 ID（.flow_id），警報簽名或消息（.alert.signature），協議（.proto）和目標 IP 地址（.dest_ip）。

• jq 命令顯示來自 eve.json 檔案的特定 flow_id 相關事件日誌，flow_id 的值為 16 位數字，需用前面查詢返回的 flow_id 值替換 X。
  jq "select(.flow_id==X)" /var/log/suricata/eve.json